Grundlagen Generative Sprachmodelle und ihr Einsatz

KI Begriff: Intelligenz 🤖

“[I]ntelligent” according to what definition? The three-stratum definition? Howard Gardner’s theory of multiple intelligences? The Stanford-Binet Intelligence Scale? Bender remains particularly fond of an alternative name for AI proposed by a former member of the Italian Parliament: “Systematic Approaches to Learning Algorithms and Machine Inferences.” Then people would be out here asking, “Is this SALAMI intelligent? Can this SALAMI write a novel? Does this SALAMI deserve human rights? (Weil, 2023)

KI Begriff: Definiton

Systeme der Künstlichen Intelligenz sind in der Lage, Daten und Informationen auf eine Weise zu verarbeiten, die menschlichen Denkprozessen ähnelt oder diese nachzuahmen scheint. Dies beinhaltet Aspekte des Denkens und Lernens, der Wahrnehmung, Vorhersage, Planung oder Steuerung (Deutsche UNESCO-Kommission et al., 2023, S. 8)

Einordnung

{fig-## Neuronale Netzwerke align=“center”}

Neuronale Netzwerke

• Model biologischer Neuronen, basierend auf dem, was damals über neuronale Aktivität bekannt war (McCulloch & Pitts, 1943)
• Neruonen sind Recheneinheiten, die in Schichten miteinander verbunden sind, welche die Architektur des Netzwerks definieren
• Das Lernen des Netzwerks wird oft durch sog, Backpropagation geleitet, das die Gewichte anpasst, um den Vorhersagefehler zu minimieren.

Neuronale Netzwerke: Schaubild

Glosser.ca, CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0, via Wikimedia Commons

Sprachmodelle

• Ein Modell, dass die Wahrscheinlichkeiten der möglichen nächsten Wörter ausgibt (Jurafsky & Martin, 2025)
• ELIZA (1967) als Beispiel für einen Chatbot mit symbolischer KI (kein Sprachmodell)

Training neuronaler Sprachmodelle

Source: Holistic AI, https://www.holisticai.com/blog/from-transformer-architecture-to-prompt-engineering

• “Transformer” sind eine Architektur neuronaler Netzwerke, die Tokens innerhalb des Inputs kontextualisieren, indem sie deren Beziehungen zueinander berücksichtigen
• GPT = Generative Pretrained Transformer

“Große” Sprachmodelle

• BERT (340 million Parameter) vs GPT-4 (1.8 Billionen Parameter)
• AI-Scaling-Gesetze: Größere Modelle profitieren von mehr Daten und Rechenleistung (GPU), jedoch mit abnehmendem Grenznutzen.
• Neues LLama 4 “Behemoth” (2 Billionen Parameter) zeigt nicht erwartete Performance
• Entstehender Konsens, dass Performance durch andere Methoden erhöht werden muss (z.B. Reasoning)

Basis-Modelle

“Das Ökosystem der KI-Basismodelle”, reframe[Tech], Namensnennung-Share Alike 4.0 International, https://www.reframetech.de/wissensseite-basismodelle/

• Open vs. proprietär

Stochastic Parrots 🦜

RAG

RAG: Quellenangabe

• Quellenangabe ist regulärer Teil des Outputs des LLMs
• LLM bekommt neben des Ergebnissen des Suchschritts auch Meta-Informationen, wie z.B. Seitenzahlen
• Ausgabe wird formatiert, sodass Quellenangaben z.B. als hochgestellte Zahl erscheinen

Agents

Informationszuganssysteme